사용자 트래픽이 특정 시간에 집중되는 '버스트성(Bursty)' 환경에서 대형 언어 모델(LLM)의 추론 성능을 극대화하는 기술이 깃허브에 공개되었습니다. 트래픽 폭주를 예측하여 KV 캐시(Key-Value Cache)를 미리 복제해두는 방식을 통해, 서버 과부하나 지연 없이 빠르게 응답을 처리할 수 있도록 돕는 것이 핵심입니다.
5월 17일부터 대규모 봇 스팸 트래픽이 유입되어 서버 과부하가 발생했고, 이로 인해 데이터베이스 연결이 반복적으로 끊어지며 사이트 접속 장애가 발생했습니다. 호스팅 제공업체의 차단 조치로 일부 정상 이용자의 접속까지 제한되는 등 우여곡절을 겪은 끝에, 현재 근본적인 해결책을 전속력으로 모색 중입니다. 특히 Perplexity 같은 AI 크롤러 봇의 무차별적 데이터 수집이 주요 원인으로 지목되며, 향후에도 단기적인 장애가 불가피할 수 있어 IT 실무자 및 구독자들의 주의가 필요합니다.
넷BSD(NetBSD)를 위한 가벼운 커널 기반 격리 시스템인 'Cells for NetBSD' 프로젝트가 소개되었습니다. 단순한 chroot 환경과 완전한 가상화(예: Xen) 사이의 운영적 간극을 메우며, 강력한 프로세스 격리와 중앙 집중식 라이프사이클 관리 등을 넷BSD 커널 보안 프레임워크에 내장된 형태로 제공하는 것이 특징입니다. 외부 의존성을 최소화하면서 기존 넷BSD 관리 워크플로우에 자연스럽게 통합되는 실용적인 솔루션으로 주목받고 있습니다.